SnapBench: Benchmarking Snap-and-Ask Multimodal Retrieval for Mobile Interactions
SnapBench：面向移动交互的拍问式多模态检索鲁棒性基准
🧭 多模态检索鲁棒性基准与模态校准
The Hong Kong University of Science and Technology (Guangzhou) · Tencent Yuanbao · Tsinghua University · ARC Lab, Tencent · The University of Hong Kong
首个配对的拍问式多模态检索鲁棒性基准，覆盖 1145 条查询、9085 个候选项和 53 种受控扰动，并提出自适应融合方法 MOOR。
📌 工作参考价值（4 点）
- 在电商以图搜物/拍照问答场景，线上输入普遍存在图像模糊、短文本或拼写错误；可将 SnapBench 的 53 种受控 corruption 方案作为离线鲁棒性评估模板，覆盖 blur/crop/low-light/typo/short query 等退化模式，用于回归测试检索模型。
- 论文发现干净图像单独检索常优于图文联合检索，说明噪声输入下粗糙文本会拖累联合 embedding；工程上可引入输入质量信号（图像清晰度、文本长度、OCR 置信度）做 modality gating，低质量文本时自动回退到图像检索。
- MOOR 提供简单可复用的融合 trick：对单模态相似度分布做 outlier-aware 标准化，再按可靠性做最优加权；可直接叠加到现有多模态召回/排序的 score fusion 层，提升 noisy 输入下的鲁棒性。
- 图像 corruption 是主要性能瓶颈，文本 corruption 对联合检索影响有限；在资源有限时，优先投入图像质量检测与增强，而不是复杂的文本纠错。